生成AIにサポート文章のレビューをさせてみた

fujimoto.ryuji

2024.04.23

はじめに

アノテーションの藤本です。

皆さん生成 AI 使ってますか。
生成 AI の進化が凄まじいので、人間に対する指導力を確認してみようとサポート文章のレビューをして貰ったのでブログにします。
※今回はサンプル文章です。実在するお客様情報等の取り扱いには十分にご注意下さい。

今回利用するAIモデル

文章力と速度が凄いと噂の Anthropic Claude 3 Sonnet を今回は利用してみます。
簡単な利用方法についてはこちらのブログを参考にして下さい。

依頼内容

ここで大事なのはプロンプトです。
回答文だけを作って、レビューして下さい。だけではレビュー観点が毎回ずれてしまいます。
そこで、どの観点でレビューして欲しいかをしっかりと伝えることで、比較的安定した結果が得られるようになります。
プロンプト作成時は、マークダウン形式で記述することで文章が整理され、AI の理解を助けることが出来ます。
また、｛｝を使うことでプロンプト内で変数のように文字列を扱えるようになります。

それではプロンプトを作成してみます。

今回のプロンプトは下記です

# お願いしたいこと
- {## お問い合わせ}に対しての{## 回答文}をレビューしてください。
- レビューの際は、以下の観点でチェックし、どこをどのように直せば良いか。何故直す必要があるかについても回答して下さい。誤りのある個所は具体的に示してください。
1. 回答文の冒頭で丁寧な挨拶が出来ているか。
2. お問い合わせにある質問には全て明確に回答出来ているか。どの質問に対してどれが回答になっているかも明示してください。
3. 結論先行で案内できているか。
4. 次のアクションを案内出来ているか。
5. 文章は簡潔に纏まっているか。冗長的になっていないか。
6. 文法に誤りはないか。誤字・脱字は無いか。
- 最後に総評をして、指摘事項の修正案を具体例と併せて出して下さい。
- 回答文を作成した人へのアドバイスもお願いします。

## お問い合わせ
```
先日〇〇という商品を買いました。
ですが、商品を受け取ったところ、思っていたものと異なり、返品をしたいです。返品の手続きについて教えてください。
購入したのは5日前です。
・返品期間について教えてください。
・送料について教えてください。
ご確認の程、よろしくお願いいたします。
```

## 回答文
```
ご返品の手続きについてご案内させていただきます。

> 返品期間
変身期間は商品の購入から14日以内となっております。
ただし、商品に破損があった場合はお受けできかねますのでご了承ください。

最後に、ご返品の際についてですが商品に同梱しております納品書を一緒にお送りいただく必要がありますのでご注意ください。
返金についてですが、商品が弊社に到着し、内容を確認させて頂きます。内容を確認して問題が無かった場合は返金手続きに進みます。返金方法はご購入時の支払い方法となりますのでご了承ください。

今後ともよろしくお願いいたします。
```

回答

回答結果を見てみましょう。

はい、指摘事項と修正案を示します。

1. 回答文の冒頭で丁寧な挨拶が出来ているか。
    - 挨拶としては「ご返品の手続きについてご案内させていただきます。」とあり、丁寧さに欠けます。改善の余地があります。
2. お問い合わせにある質問には全て明確に回答出来ているか。どの質問に対してどれが回答になっているかも明示してください。
    - 「返品期間について教えてください。」に対して、「変身期間は商品の購入から14日以内となっております。」と回答していますが、「変身期間」は「返品期間」の誤字です。
    - 「送料について教えてください。」に対する回答がありません。
3. 結論先行で案内できているか。
    - 結論が先行しておらず、改善の余地があります。返品の可否を最初に示すべきです。
4. 次のアクションを案内出来ているか。
    - 「最後に、ご返品の際についてですが商品に同梱しております納品書を一緒にお送りいただく必要がありますのでご注意ください。」と次のアクションが案内されています。
5. 文章は簡潔に纏まっているか。冗長的になっていないか。
    - 「返金についてですが、商品が弊社に到着し、内容を確認させて頂きます。内容を確認して問題が無かった場合は返金手続きに進みます。返金方法はご購入時の支払い方法となりますのでご了承ください。」この部分が冗長で簡潔になっていません。
6. 文法に誤りはないか。誤字・脱字はないか。
    - 「変身期間」は「返品期間」の誤字です。
    - その他の明らかな文法的誤りや誤字脱字は見受けられませんでした。
総評:
挨拶が丁寧さに欠け、返品の可否の説明や送料の記載が抜けており、文章も冗長である点が課題です。結論を先行させ、お客様の質問に対して明確かつ簡潔に回答することで大幅に改善できると思われます。

修正案:
```
この度は商品の返品をご希望とのことで、誠に申し訳ございません。

ご購入から5日以内の商品につきましては、返品を受け付けております。返品時の送料は着払いとなります。
ただし、商品に破損がある場合は返品をお断りさせていただきます。

返品の際は、商品と納品書を同封の上、着払いでご返送くださいますようお願いいたします。
返金につきましては、商品を確認後、ご購入時と同じ決済方法で手続きさせていただきます。

何かご不明な点がございましたら、お気軽にお問い合わせくださいますようお願い申し上げます。
```

アドバイス:
- 冒頭の挨拶は丁寧な言葉遣いを心がけましょう。お客様に敬意を払うことが大切です。
- お客様の質問に対して、漏れなく明確に回答するよう気をつけてください。
- 結論を先行させ、お客様の要望に対する受け入れ可否を明示することが重要です。
- 冗長な表現は避け、簡潔かつ分かりやすい文章を心がける必要があります。
- 誤字脱字がないか、この修正案を参考に再チェックすることをお勧めします。

かなり的確な返答を返してくれました。
このように、プロンプトで何処を、どのように見て欲しいのか明確な指示を出すと AI はかなりの精度で回答してくれます。
ただし、AI はハルシネーション（もっともらしい誤情報を出すこと）に注意しないといけません。
AI は非常に強力なツールですが、回答内容が本当に正しいかのチェックは必ず行い、振り回されないように気をつけましょう。

最後に

プロンプト次第では非常に細かい指摘までしてくれることが今回わかりました。
ただし、行間を読む等の本文に書いていない内容まで推測させようとするとまだまだ回答は安定しないと感じています。（将来的にはこれも解決しそうな気はしますが）
人間が得意な部分・AI が得意な部分を上手に分けて、効率的な活用の道をこれからも探っていきたいと思います。

アノテーション株式会社について

アノテーション株式会社はクラスメソッドグループのオペレーション専門特化企業です。サポート・運用・開発保守・情シス・バックオフィスの専門チームが、最新 IT テクノロジー、高い技術力、蓄積されたノウハウをフル活用し、お客様の課題解決を行っています。当社は様々な職種でメンバーを募集しています。「オペレーション・エクセレンス」と「らしく働く、らしく生きる」を共に実現するカルチャー・しくみ・働き方にご興味がある方は、アノテーション株式会社採用サイトをぜひご覧ください。